LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal
LLM 的相关性信号呈逐层跨语言编码
🧭 LLM 内部相关性表征分析
The University of Queensland
线性探针可从 LLM 残差流激活中解码查询-文档相关性，中间层最准，且常优于模型直接生成的判断
📌 工作参考价值（4 点）
- 用探针替代显式 prompt 判断：在排序或过滤阶段，直接从 LLM 中间层提取相关性信号，可能比模型生成的标签更稳定，尤其当显式输出不可靠时（如长文档、多语言场景）。
- 层监控辅助决策：观察中间层探针准确率，可早期判断“模型内部是否已识别出相关性”，即使最终生成错误标签，也能触发 fallback 逻辑。
- 跨语言召回增强：虽然跨语言迁移弱于同语言，但部分层表现出的可移植性为多语言推荐系统提供了一种低成本扩展路径——可先用英文数据训练探针，再适配目标语言。
- 轻量级 reranker 设计：线性探针几乎零推理开销，可部署为粗排或特征信号，结合模型生成结果提升整体排序质量。